Управление моделями

Для быстрого старта вы можете ознакомиться с практическим гайдом по загрузке и запуску модели Mistral

Подробные инструкции по управлению LLM c помощью API или UI, а также дообучению с помощью LoRA/QLoRA подробно описаны в разделе Управление LLM (UI & API) платформы Compressa.

примечание

Важно! В документации платформы Compressa базовый URL для LLM - http://localhost:8080/pod-1/api/v1/. При использовании отдельной версии Compressa LLM вы будете использовать http://localhost:8080/api/v1/